Cao Vĩ tiếp tục nắm quyền kiểm soát đế quốc, ngay cả khi đã truyền ngôi cho Cao Hằng. Ông tôn phong Hồ thái hậu là Hồ thái hoàng thái hậu, trong khi Mục hoàng hậu trở thành thái thượng hoàng hậu. Trong khi đó, quan Mạc Đa Lâu Kính Hiển (莫多婁敬顯) và tướng Úy Tương Nguyện (尉相願) đã lập mưu để cố giết chết Cao A Na Quăng, và sau đó tuyên bố Cao Hiếu Hành là hoàng đế, song âm mưu đã bị hủy bỏ khi cuộc phục kích mà họ sắp đặt trong cung nhằm vào Cao A Na Quăng đã không thể thực hiện được. Trong khi đó, Cao Hiếu Hành đã thỉnh cầu được cấp cho một đội quân để có thể kháng cự Bắc Chu, song Cao A Na Quăng và Hàn Trường Loan lại nghi ngờ ông ta có âm mưu chính biến nên đã cử đi làm thứ sử của Thương châu (滄州, nay gần tương ứng với Thương Châu, Hà Bắc).

Trong khi đó, Cao Vĩ nhận được tin rằng quân Bắc Chu đang trên đường tiến đến Nghiệp thành, ông quyết định từ bỏ kinh thành và tiến về các châu ở bờ nam Hoàng Hà để tổ chức kháng chiến, và định nếu kháng chiến thất bại thì sẽ chạy sang Trần. Cao Vĩ để tướng Mộ Dung Tam Tàng (慕容三藏) trấn thủ Nghiệp thành và chạy hướng về Tế châu (濟州, nay gần tương ứng với Liêu Thành, Sơn Đông), nơi Hồ Thái hoàng thái hậu, Mục hoàng hậu và hoàng đế Cao Hằng đã đến từ trước. Khi Cao Vĩ rời đi, Mộ Dung Tam Tàng đã không thể giữ được kinh thành.

Khi Cao Vĩ đến Tế châu, ông ban hành một thánh chỉ nhân danh Cao Hằng để nhường ngôi cho Nhậm Thành Vương Cao Giai (高湝), chó người đưa thánh chỉ và quốc ấn cho Cao Giai tại nơi ông ta làm thứ sử là Doanh châu (瀛州, nay gần tương ứng với đông bộ Bảo Định, Hà Bắc). Tuy nhiên, thay vì trao thánh chỉ và quốc ấn lại cho Cao Giai, Hộc Luật Hiếu Khanh (斛律孝卿) đã đầu hàng Bắc Chu. Trong khi đó, Cao Vĩ để Hồ thái hoàng thái hậu và Cao A Na Quăng lại Tế châu; và cùng với Mục hoàng hậu, Phùng thục phi, Cao Hằng, Hàn Trường Loan chạy tiếp về phía đông đến Thanh châu (青州, nay gần tương ứng với Thanh Châu, Sơn Đông). Cao Vĩ định sẽ chạy tiếp đến Trần, song Cao A Na Quăng do đã liên hệ với quân Bắc Chu và muốn dâng Cao Vĩ làm quà tặng cho Bắc Chu nên đã báo cho ông thông tin sai để trì hoãn việc chạy trốn này. Khi quân Bắc Tề đến Tế châu, Cao A Na Quăng đã đầu hàng, vì thế quân Bắc Chu có thể nhanh chóng tiến đến Thanh châu. Cao Vĩ nhanh chóng chạy trốn, song đã bị tướng Uất Trì Cần (尉遲勤) của Bắc Chu bắt được và giải về Nghiệp thành để trình Vũ Đế.